提 要：本质性研究基于对我国12位大学英语教师的三轮访谈，探究教师线上评估实践，并剖析其线上评估素养。结果表明，教师充分利用线上平台进行语音反馈、收集与调用作业以及反馈测试结果等，提升了线上评估效率。教师在线上课堂参与评分、考试、反馈以及评分标准制定等方面遇到诸多挑战，采用了多重策略应对挑战，展现了自发的、实践性的教师评估素养。本文讨论了线上评估独特性及教师线上评估素养现状，对提升线上评估实践有效性有一定启示。
关键词：教师评估素养；线上评估实践；大学英语教师；质性研究
自新冠肺炎疫情爆发以来，全国教师卷入了一场教育技术反向推动的教学改革——线上教学（许悦婷、陶坚 2020）。疫情形势下，线上教学成为新常态，其有效性亟待研究。由于外语线上教学有自由性、技术性与互动性等特点（高霄等 2021），线上教学有效性问题在外语学科尤为突出。由于评估连接教与学，教师能否有效评估学生学习过程与结果，能否运用评估反馈与结果提升学生学习，是线上教学成败的关键。然而，线上评估实证研究寥寥，学界对外语教师线上评估实践及其背后的评估素养现状所知甚少。线上评估一大特点为教育技术的融入。教师如何利用教育技术进行评估，也是我国教育政策的一大关切。《深化新时代教育评价改革总体方案》（以下简称《方案》）鼓励“充分利用信息技术，提高教育评价的科学性、专业性、客观性”（中共中央、国务院 2020）。《大学英语教学指南（2020版）》也强调重视信息技术，形成混合式教学模式（教育部高等学校大学外语教学指导委员会 2020）。鉴于线上评估的重要性及复杂性，本研究探究大学英语教师线上评估实践及其评估素养，以期提升线上教学与评估的有效性。评估者是线上教师承担的多重角色之一。然而，教师既不熟悉辅助评估的技术手段，又对其重视不足（Adedoyin & Soykan 2020）。徐锦芬等（2021：15）对教师线上评估技能作了初步理论探讨，提出外语教师需学会“实施基于过程、绩效和反思的动态、多元教学评价”。线上评估同样具备信度和效度。其中，信度指评估结果的一致性，效度指评估内容多大程度上涵盖了所教内容（Messick 1989）。为确保线上评估的信度和效度，教师需利用线上平台设计评估任务，并依据清晰的评分标准为学生学业表现打分，并提供即时反馈以促学（García-Peñalvo et al. 2021）。然而受网速等条件所限，教师无法通过同步视频直接观察学生学习过程或考试表现，因此难以保证线上评估信度、效度与公平性。已有研究多从学生角度探究线上评估对学习结果的影响（Jopp & Cohen 2020），如线上文字发言能激发学生深度思考（Traphagan et al. 2010），降低学生焦虑（Satar & Özdener 2008），但较少关注教师线上评估实践。仅有少量研究探讨了教师线上评估挑战，如线上讨论任务评估（Rovai 2000）与线上学习需求调研（Watson et al. 2017）。评估实践的底层逻辑是教师评估素养。教师评估素养既包括教师对评估理论知识的掌握情况（江进林 2019），也包括教师在具体社会文化情境与工作环境中的动态评估决策（宋亚南等 2020）。本文采用“实践中的教师评估素养”框架（Xu & Brown 2016）来指导分析研究发现。该框架包括知识基础、教师评估观、微观和宏观环境、实践中的教师评估素养、教师学习与身份认同等概念，其核心概念“实践中的教师评估素养”将教师评估素养视为教师在某个具体评估情境下做出的折中方案，是教师现有评估观与外在环境角力、协商与妥协的结果。因此，若要具备更好的“实践中的教师评估素养”，教师需不断学习、反思并构建评估者身份认同。在语言教师评估素养领域，金艳（2018）提出我国教师需掌握大规模测试、学业测试与课堂评价三个情境下的评估知识与技能。除测评理论外，外语教师也需掌握实践层面的测评素养（潘鸣威 2020）。在课堂评估中，评估素养合格的教师能对照教学目标设计评估任务，制定评分标准，按照评分标准评分（Cheng & Fox 2017）。教师评估素养的重要性毋庸置疑，但教师评估素养现状仍不容乐观，如大学英语教师评估策略储备不足（Guo & Xu 2021）与教师信息素养缺失（Moorhouse 2021）等。因此，研究我国大学英语教师线上评估实践及评估素养，对混合式教学情境下的评估改革与教师评估素养发展有重要启示。本研究探究教师如何在外部环境与自身评估观及知识储备的互动中做出动态评估决策，回答以下两大研究问题：1）教师如何利用线上教学平台进行线上评估？2）线上评估的挑战有哪些？教师如何应对？其中，便利条件和挑战是教师评估素养的外部环境，教师利用便利条件及应对挑战的策略可视作其动态评估决策，即“实践中的教师评估素养”（Xu & Brown 2016）。通过目的性抽样，笔者招募了南方某高校自愿参与本研究的12位大学英语教师（见表1）。这些教师年龄分布均匀，教龄、性别、最高学位及职称比例均契合我国高校外语教师总体情况（中华人民共和国教育部发展规划司 2021）。为保护其身份，本文以T加数字编号的方式指称参与教师（如T1）。
数据收集分三个节点：开课前、课程开始一个月及结课后。首次访谈了解教师对线上教学与评估的认知，平均用时30分钟；第二次访谈了解教师对线上教学与评估的新理解，对线上平台的使用，线上评估挑战及应对策略，平均用时60分钟；第三次访谈内容与第二次相仿，并请教师反思整个学期的线上评估，平均用时80分钟。所有访谈使用汉语，全程录音并转录为文字。笔者采用内容分析法对转录文本进行多层编码（Cohen et al. 2011）。第一层为开放性编码（open coding）。通过反复阅读转录文本，标注与研究问题相关的文本选句（段），并以词组概括该编码，如“聊天框互动很难计分”等，共计94个一级编码。随后进行轴向编码（axial coding），依照研究问题归纳了线上平台的四类便利条件以及线上情境下四大评估挑战及应对策略。研究发现，教师能利用线上平台特点开展评估，具有一定的线上评估知识与技术素养。教师共提及使用过四种线上平台：1）直播和录播上课软件，如雨课堂、钉钉；2）慕课平台，如SPOC；3）即时通信类软件，如微信、QQ；4）教学管理类软件，如对分易、在线共享文件。受访教师利用线上平台的四类便利条件开展线上评估。第一，利用线上平台为学生提供自主练习机会（51）。T3让学生使用SPOC学习系统完成评估任务并自行批改。SPOC测验，system会generate出学生答题情况……学生就知道自己的表现了。（T3-I3）2
第二，利用线上平台为学生提供语音反馈 （4）。如T8结合语音与书面反馈，提升了反馈效率。 我在平台上反馈，评语既可录音，也可打字。（T8-I2）
第三，利用线上平台收集与调用作业（8）。T8提及线上平台能提升收作业效率以及课堂调用作业的便利度。课堂讲解时，随时调出来一些同学的作业跟大家共享，当场给口头反馈。（T8-I2）
第 四， 利 用 线 上 平 台 及 时 反 馈 测 试 结 果（12）。如T2利用问卷星对学生进行摸底，并以此作为课堂分层提问的依据，这比线下评估有明显优势。问卷星将小测结果正态分布，我知道两个标准差以上及以下的是谁，对学生有很好的了解。难的问题，就问好一点的学生；容易一点的，就问差一点的学生，让每个学生都有存在感跟成就感。（T2-I3）
综上，教师能运用互联网技术，利用线上平台提升评估效率，体现了一定的线上评估素养。但这些策略是教师应对突发教学改革的自发行为，尚未成为其有计划的自主行为。下文分点呈现教师线上评估实践中遇到的四类挑战及其应对策略。线上评估实践的第一类挑战是学生线上课堂参与评分（12）。线上课堂中，师生不能面对面互动，且受限于网络及软硬件，无法开视频互动。音频互动则因互动频率不同，便利性不一。因此，线上课堂参与评分的首要难题是：学生参与方式发生了变化，即以文字参与为主，语音、视频参与为辅。他们语音确实比打字少。但回答的人数又比面对面的多。（T1-I2）
然而，以文字互动为主的课堂参与导致学生容易复制粘贴文字，教师难以判断学生的真正参与情况。这是线上课堂参与评分的难题之二。如T3描述了她将文字发言纳入评分而导致的“刷屏”现象。有一次我想engage大家，让大家在聊天框里面答题……我说我会看一下哪些同学参与度比较高……结果那一次刷屏特别厉害。（T3-I3）
线上课堂参与评分的难题之三是部分学生为课堂表现加分而参与。学生没有线下那么活跃……（我）一直跟学生说，volunteer加分，后来好多学生还没有拿到那个bonus point，也开始急了，开始为了分数举手。（T6-I3）
难题之四是线上课堂参与评分标准缺失或模糊，教师只能止步于计算发言次数。如T8尽管意识到聊天框发言次数可能只代表了学生学习倾向，不完全代表其学习投入情况，但苦于没有更好的计分方式，只能止步于此。我是数数量。有同学打字很活跃。但有学生喜欢用麦说。只是学习习惯和倾向不同。（T8-I3）
针对以上挑战，教师报告了四种应对策略。一是基于公平性考虑，不将课堂参与评分纳入课程总评（如T12）。该做法虽从源头上避免了评分不公的问题，却无法发挥课堂参与的促学作用。取消了课堂表现，因为不大真实，我也登记了谁发言，有时好多人也想发言。（T12-I3）
二是取消聊天框评论作为课堂参与评分的依据。如T3所言，聊天框互动便利性不一，易分散学生注意力，导致学生发言粘贴复制的情况。有同学说考核有问题。学生设备不一样，手机用聊天框，中间有转换过程，听不到老师说话。他们注意力会极度分散，手机敲字也会慢，对他们来说不公平。那节课也出现了严重刷屏现象。所以它作为考核不太有效，还影响教学效果。他讲得很有道理，所以我取消了这一条作为平时成绩的参考。（T3-I2）
三是教师详细记录学生发言的次数，规范课堂参与计分细则。如T5登记学生发言以便期末统计，但手动整理也带来不少负担。每次课我都登记，今天他发多少条信息，或连麦回答问题多少次，最后都会变成他的期末成绩。（T5-I3）
四是学生自主登记课堂参与次数。如T7调动学生积极性，令其自主登记参与次数，但该做法也难突破轻“质”重“量”的局限。我用对分易记录课上谁开麦。他们的打字文本，导出PDF，发给全班同学。每个主题的讨论不超过3分，每一堂课chat box8分封顶。让他们在线自己登记。（T7-I3）
以上“取消”策略均未能从根本上解决线上课堂参与评估的问题，反而凸显了教师线上评估素养的不足。具体体现为教师在线上评估中多沿用线下评估的目标、内容、方法和标准，却鲜少思考线上评估的独特性问题。 线上评估实践的第二类挑战为线上考试（7）。首先，线上考试难防作弊。受访教师对此有三种应对策略。一是通过摄像头线上监考。但线上监考难以保证考试公平性（如T9）。期中考试让他们开摄像头，预防他们作弊，但只是形式，根本管不了……要做到公平，太难。（T9-I3）
二是改变试题形式，从以客观题为主改为以主观题为主（如T3）。三是改变考查形式，改考试为大作业考查。两者均为了降低考生作弊的可能性。我们把听力选择题取消了，因为学生很容易抄袭。后来我们就在第二大题，让学生写一个东西，变成主观题，尽量避免学生作弊。（T3-I3）
其次，线上考试缺乏统一平台，不同课程、不同教师做法不一，考试信度和效度较难保证。T6对此挑战表达了无助感，希望学校有统一的解决方案。考试系统，个人是解决不了的。必须由公司或者学校自己开发一个比较成熟、能支撑较大规模考试的系统。（T6-I3）
可见，教师在线上考试设计与实施中缺乏相应支持，加上线上考试受限于软硬件条件，其评估动态决策有较大局限性，因此难以保证其信度、效度与公平性。第三类挑战来自线上反馈（6），体现为师生线上反馈互动不足（如T8）与教师线上反馈功能趋于单一（如T6）。教师反馈主要用于鼓舞士气，而鲜用于指出学生不足，难以提升学习效果。教师虽意识到该问题，但未及时丰富反馈功能，体现了其线上反馈素养的不足。网课下课学生就赶另一个场去了，也不会在钉钉上追问我“老师，我今天哪里做得不好？”（T8-I3）
线上我确实给了学生更多compliments。学生只要说点啥，我都使劲表扬，特别是主动举手发言的，尽量去鼓励他、表扬他。（T6-I3）
面对师生反馈互动不足的挑战，教师或用机器批改辅助教师批改，提高反馈效率；或通过评价学生作业样本，帮助学生理解与学习目标间的差距，并助其掌握消除差距的方法，提升学生反馈素养。如T4的如下做法，虽不能完美应对线上反馈挑战，但已尽力提高反馈效率，在一定程度上提升了学生反馈素养。我是给分数，在评论框给他简单的评论。中间有些我认为能够体现评语的例子，我要把它划出来。（T4-I3）
可见，教师虽利用技术手段提高反馈效率，但未解决反馈互动不足及功能单一等问题，其线上反馈素养有待提高。教师需提升对线上评估特点（包括评估工具及其功能）的理解，并能基于评估情境和学生需求设计反馈路径。第四类挑战来自线上评分标准的界定（4）。教师需重点考量线上评分标准及其构念的问题。研究结果显示，受访教师对线上评估标准的认识还较为模糊，在评估时缺少评分细则（rubrics）。面对该挑战，部分教师口头调整了评分标准，但也有部分教师认为，线上与线下评估任务无异，无需调整评分标准。线下我要求eye contact，线上我去掉这个标准……线下我要求他们跟观众互动，这个标准我也去掉了。我的评分标准就两个方面：content、delivery。（T3-I3）
例如，T3虽明确提出评分标准的两个层面，但缺乏对应的评分等级描述，在评分时也难以保证自身作为评分员的内部一致性。可见，教师评估素养在制定评分标准这个分支能力上亟待提升。此外，教师虽在线上情境下有意识地调整评估计划与实践策略，但其线上评估素养仍有待提高。教师需要学习如何提升线上评估目标设立、任务设计、实施方法、反馈模式等，并根据情境和学生需求作动态调整。此外，教师还需高度重视宏观政策环境与微观环境软硬件。基于以上发现，下文讨论线上评估的独特性与教师线上评估素养现状两大议题。线上评估有四个独特性。教师需充分了解这些独特性，才能提升线上评估素养。首先，线上评估对软硬件依赖性极强。线上评估特别是考试若要顺利实施，不仅要求学生拥有较好的硬件设施，还要求师生端网络畅顺，以及学校提供统一的线上考试系统。这就要求上级主管部门从宏观层面参与规划，开发线上考试系统并保证网络通畅，学校从中观层面全力支持与协调教师对线上平台的培训与使用（邬大光、李文 2020），以及教师从微观层面结合线上平台特点，设计好评估任务（范逸洲等 2018）。其次，线上评估的独特性在一定条件下能转化为在促学上的天然优势。线上平台能提供及时反馈，语音反馈功能也提升了反馈效率，并使反馈方式多元化。线上平台协助教师收集和调用学生作业，减轻了教师负担，更能让教师聚焦反馈内容。然而，教师利用线上平台进行评估仍属自发行为，未上升为自觉行为。若要充分发挥线上平台与技术对语言教学和评估的辅助作用（McLaughlin & Yan 2017），教师需更充分地学习线上平台的评估促学功能。再次，教师需思考评估任务的环境迁移对评估构念效度的影响。教师需分析线上、线下评估任务的异同，根据课程目标、评估任务特点与学生参与情况，修改评分标准及其构念。如将学生线上口头报告作为评估任务时，教师需考虑如何区分该学生在该项任务中体现的技术素养与内容、结构及口语表达等核心能力（García-Peñalvo et al. 2021），并依照评分构念重要性排序分配评分比例。教师重构线上评分标准是提升线上评估信度和效度的关键所在。最后，线上评估放大了学生社会经济背景的差异性，因此教师需留意学生家庭背景，消弭弱势群体在评估中的不利处境（Lee & Butler 2020）。如T3提及学生没有电脑阻碍了其参与线上互动。因此，教师在线上评估中需事先了解学生社会经济背景，并制定预案来减轻该差异对评估公平性的不利影响。教师利用线上平台及应对评估挑战时所采用的策略，体现了教师能因时因地制宜，折射了部分“实践中的教师评估素养”（Xu & Brown 2016）。首先，各类策略可视为教师基于具体情境的动态决策。如T3根据学生建议，反思将文字互动纳入课堂参与评分的利弊，并取消纳入评分，避免了评分不公。其次，这些策略存在即合理，但仅为某个具体评估情境下的“权宜之计”。换言之，教师线上评估素养仍有较大提升空间。如教师不应仅基于课堂发言次数来评估学生课堂参与，还应充分考虑发言质量。教师若要提升其线上评估素养，则需及时反思评估实践，学习评估理论，在实践中产生新知来调整评估决策，争取让每一次动态决策优于上一次。本研究也发现，线上情境下教师评分能力不尽如人意。如教师未能从课程伊始确定线上课堂参与评分标准，导致评分较为混乱。又如教师未能确定线上评估任务是否沿用原有标准，评分标准的模糊或缺失影响了线上评估信度和效度（Gikandi et al. 2011）。因此应加强教师在制定评分标准、与学生沟通方面的培训（Xu & Qiu 2020），提升评分一致性（Cheng & Fox 2017）。研究还发现，教师具备一定的反馈素养，但反馈互动不足，功能单一，赋能功能缺失。教师虽能利用平台提升反馈效率，但在反馈促学方面有待提升。此外，仅个别教师使用作业样本提升学生反馈素养，大多数教师未能为学生创设对话式反馈环境，也未能为学生反馈素养赋能（Han & Xu 2020）。此外，本研究还暴露了教师在试题编制上的技能盲区。教师虽提及线上试题难度与信度等问题，但除了改变试题形式外，教师大多凭线下经验来编制试题。因此教师试题编制能力是今后评估素养研究的重难点。本研究对教师线上评估实践与评估素养作了初步的实证探究与理论探讨。基于研究发现，本文提出线上评估对教师评估素养的五点新要求：第一，技术素养是线上评估素养的重要组成部分。虽然教师亟须技术培训，但技术培训应结合课程特点、评估目标以及线上平台特征来个性化定制。因此，高校外语教学管理者应承担起相应技术培训调研的职责，提升教师技术培训的成效。第二，教师需根据课程特点，分析并修改线上课程目标与评估目标，调整评估任务并厘清评分标准中的构念。教师课程组应发挥学习共同体的作用，合作构建线上评分标准并向学生充分解释评分标准的调整情况及其原因（Xu & Qiu 2020）。第三，线上反馈囿于时空，反馈效能可能低下。教师应利用多种模态反馈手段，增进师生、生生间的反馈互动，培养学生反馈素养，增进学生理解反馈与投入反馈的能力（Han & Xu 2020）。第四，为确保大规模线上考试的公平性，外语教师可通过反思评估实践中的“伦理两难”问题，分析具体案例中的伦理操守，提升自身评估伦理道德水平。第五，高校外语教学管理者应联合教师教育者与外语评估专家，深入外语教师线上评估实践，通过有的放矢的校本培训，辅以平台和制度支持，为线上评估保驾护航。注：
1 各研究结果主题后的括号内数字指分享了此观点的受访教师人数。此处“5”指有五位受访教师分享了此观点。
2 笔者用编号标识其数据来源。如T1-I3表示该节选来自T1的第三个访谈，以此类推。
本文发表于《外语教育研究前沿》（原名《中国外语教育》）2022年第3期，第58—65页。由于篇幅所限，其它注释和参考文献已省略。
许悦婷，华南师范大学外国语言文化学院教授。主要研究领域：教师评估素养、外语教师身份认同、外语教师情绪、外语课堂评估。 邱旭妍，香港理工大学英文与传意学系助理教授。主要研究领域：第二语言教学、任务型教学法、学术英语。
1）在期刊官网（http://www.celea.org.cn/class/25）阅读本期刊讯；
2）在CNKI下载论文全文：https://t.cnki.net/kcms/detail?v=E7rb1aNNAO8QkABb8k_H-3syO8jon269XwPyCbacp_RC6grWEBVstl7vPet3uW-kTehGsqFYQ_G-os3ZKBCdgfUYkyGhtolQvC-glogRJQ8nqaoneFAkKw==&uniplatform=NZKPT（复制网址，粘贴到浏览器打开）【声明】感谢《外语教育研究前沿》编辑部授权iResearch发布此文。本文版权归《外语教育研究前沿》编辑部及作者所有。其他任何学术平台若有转载需要，可致电010-88819493或发送邮件至research@fltrp.com，我们将帮您协商授权事宜，请勿擅自转载。